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基于 匹配 策略 融合 的 低 误 差 快速 图 像 拼接 算法 “ 
杨 明 东 ， 石 ” 英 '， 华 逸 伦 ， 朱 剑 怀 


(武汉 理工 大 学 自动 化 学 院 , 武汉 430070) 


摘 要 : 针对 目前 多 数 拼 接 算 法 正确 匹配 率 低 、 耗 时 及 误差 大 的 问题 , 提出 了 基于 匹配 策略 融合 的 改进 图 像 拼 接 算法 。 
该 算法 首先 仅 在 图 像 的 重合 区 域 提 取 SIFT 特征 点 ， 并 计算 SURF 特征 描述 符 ; 其 次 ， 融 合 改进 的 最 近邻 比 次 近邻 、 双 
向 交叉 检查 及 匹配 差 值 的 阔 值 化 3 种 匹配 策略 ,结合 坐标 约束 及 RANSAC 算法 完成 特征 匹配 ; 最 后 , 提出 利用 配 准 参 
数 计算 任意 图 像 到 参考 图 像 坐标 空间 的 投影 变换 模型 的 方法 ， 并 利用 多 线程 技术 将 所 有 图 像 投 影 至 参考 坐标 系 ， 经 过 
亮度 校正 、 加 权 融 合 后 合成 全 景 图 。 实 验 结 果 表 明 ， 提 出 的 拼接 算法 正确 匹配 率 提高 了 10~20%， 拼 接 总 耗 时 约 为 传统 
逐 帧 扩大 式 拼接 算法 的 1/3， 且 累计 误差 大 大 降低 ， 拼 接 图 像 畸变 小 。 
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Low-error and fast image-stitching algorithm based on merging match strategies 


GS Yang Mingdong, Shi Ying, Hua Yilun, Zhu Jianhuai 
(School of Automation, Wuhan university of technology, Wuhan Hubei 430070, China) 


Ri Abstract: To deal with low correct matching, high time-consuming and high-error in most stitching algorithms, this paper 


developed an improved image stitching algorithm based on merging match strategies. First, the algorithm extracted SIFT feature 


points only from the overlap area of pair-image, and computed the SURF descriptors; Second, the algorithm merged three match 


strategies including ratio of the nearest neighbor and the 2nd nearest neighbor distances, cross-check of two directions and pair- 


matches’ difference threshold method, combined coordinate constraint with RANSAC algorithm to complete the feature match; 
Finally, the algorithm used registration data to calculate the projection model which could transform any image in the sequences 
to reference image coordinate space, then used multithread technology to accelerate. After the brightness correction, the 
algorithm used the weighted fusion method to composite panorama images. The experimental results show that the proposed 
algorithm obtains a 10~20% correct rate increase in feature match with about 1/3 time-consuming of the traditional frame-to- 
frame expand stitching algorithm, great decrease in accumulated error, and little image distortion. 


Key words: merged match strategies; fast image stitching; accumulated error; projection transformation model; multithread 


构造 出 高 维 浮 点 SIFT 描述 符 ， 导 致 巨大 的 内 存 开销 和 匹配 计 
算 量 后 。 为 了 提升 检测 效率 ，Ke 等 人 中 提出 PCA-SIFT 算法 ， 
图 像 拼 接 技术 将 同一 场景 的 多 幅 序列 图 像 经 过 配 准 、 融 合 ”利用 PCA 降 维 ， 减 少 SIFT 算法 耗 时 ， 但 对 尺度 变化 和 图 像 模 
后 合成 宽 视野 、 高 分 辨 率 的 全 景 图 ， 近 年 来 ， 广 泛 应 用 于 三 维 糊 较为 敏感 , 鲁 棒 性 仍 有 待 提高 。 Calonder 等 人 中 提出 的 BRIEF 
重建 、 视 频 监控 、 遥 感 影像 及 灾害 防 控 等 领域 帆 4。 图像 配 准 是 特征 描述 算法 ， 利 用 二 进 制 序列 描述 特征 点 ， 计 算 速 度 快 ， 但 
拼接 算法 的 核心 步 又， 直接 决定 了 拼接 算法 的 实时 性 和 累计 误 “该 描述 符 不 具备 旋转 和 尺度 不 变性 ， 拼 接 图 像 质量 差 。 而 Bay 
差 B, 为 了 提升 配 准 质量 , 研究 学 者 从 特征 检测 、 特 征 匹 配 及 投 ”等 人 四 提出 的 SURF 特征 充分 利用 积分 图 像 特性 ， 大 大 提高 

影 变 换 模型 三 个 方面 开展 研究 。 描述 效率 , 但 检测 到 的 特征 点 数量 仅 有 SIFT 算法 的 一 半 , 影响 
目前 ， 己 有 很 多 研究 者 致力 应 用 于 图 像 拼 接 的 特征 检测 算 ”了 拼接 质量 。 
法 ，Lowe 等 人 四 提出 的 SIFT 特征 具有 尺度 和 旋转 等 不 变性 ， 特征 匹配 直接 影响 拼接 算法 的 快速 性 和 拼接 误差 ， 其 核心 
环境 适应 性 较 好 ， 由 于 采用 特征 点 邻 域内 的 梯度 方向 直方 图 ， 是 如 何 快速 有效 地 剔除 误 匹 配对 。Lin 等 人 外 结合 穷 举 搜 索 和 
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录用 稿 杨 明 东 ， 等 : 基于 匹配 策略 融合 的 低 误差 上 恢 蒜 图像 拼接 算法 
最 近邻 比 次 近邻 匹配 策略 进行 特征 匹配 , 但 穷 举 搜索 非常 耗 时 ， 针对 上 述 问题 ， 本 文 提出 了 快速 且 累 计 误 差 小 的 序列 图 像 
旦 最 近邻 比 次 近邻 策略 对 阔 值 敏感 ， 不 合适 的 阔 值 会 损失 一 部 。 ”拼接 算法 ， 结 合 SURF 描述 符 和 SIFT 特征 的 优势 ， 并 采用 基 


分 正确 的 匹配 对 ， 造 成 匹配 率 低 下 。Hui 等 人 0 使 用 NCC 和 于 重合 区 域 的 特征 检测 算法 ， 以 提高 检测 效率 ， 为 了 提升 匹配 
RANSAC 算法 I 进行 特征 匹配 ，NCC 需 归 一 化 互相 关 甜 阵 ， 精度 , 融合 多 种 匹配 策略 , 并 结合 坐标 约束 及 RANSAC 算法 完 
计算 耗 时 , 且 匹 配 精 度 低 , 使 得 后 续 的 RANSAC 算法 收敛 速度 。 成 特征 匹配 ， 为 了 降低 多 次 投影 带 来 的 累计 误差 ， 提 出 了 利用 
慢 。 韩 天 庆 等 023 针 对 无 人 机 航拍 图 像 利用 空间 约束 及 双向 匹配 。 配 准 参数 计算 任意 图 像 到 参考 图 像 坐 标 空 间 的 投影 变换 模型 的 
策略 提高 匹配 精度 ， 效 果 虽 好 ， 但 其 应 用 范围 有 限 。 方法 ; 为 了 加 快 拼 接 速度 ， 运 用 多 线程 技术 合成 全 景 图 。 最 后 
完成 配 准 后 ， 利 用 配 准 参数 合成 图 像 ， 为 了 降低 拼接 图 像 ” 设计 了 多 组 序列 图 像 拼 接 测试 ， 验 证 算法 的 有 效 性 。 
的 扭曲 变形 ， 需 要 选择 合适 的 投影 变换 模型 。Brown 等 人 tJ! 利 人 

用 全 局 捆绑 调整 完成 旋转 参数 和 相机 焦距 的 估计 进而 完成 多 幅 站 


图 像 的 投影 ， 精 度 较 高 ， 但 估计 时 间 较 长 ， 不 适用 于 快速 拼接 本 文 拼接 算法 框架 设计 如 图 1 所 示 ， 分 为 预 处 理 、 图 像 配 
领域 .Song 等 人 0 以 序列 图 像 中 的 第 一 幅 图 像 为 起 始 参考 图 像 ，“ 准 及 合成 图 像 三 个 部 分 。 预 处 理 阶段 根据 全 景 图 尺度 估计 将 图 
按 帧 到 图 像 逐 步 扩 大 的 策略 将 所 有 图 像 依次 投影 到 参考 平面 ， 像 分 辩 率 统一 为 300x400， 并 标定 重合 区 域 。 od 过 
但 每 次 拼接 的 误差 都 会 累计 到 下 一 次 的 拼接 ， 如 果 序 列 图 像 集 村 征 检测 和 匹配 后 ， 估 计 图 像 间 的 变换 矩阵 得 到 配 准 参数 。 


合 很 大 , 将 会 造成 严重 的 扭曲 变形 。Zaragoza 等 人 05 提 日 成 图 像 包括 亮度 校正 、 投影 和 图 像 融合 等 ， 最 儿 实 现 忆 过 
投影 模型 ， 可 以 精确 地 对 齐 图 像 ， 产 生 精 度 较 高 的 拼接 图 像 ， 且 误 差 小 的 序列 图 像 拼 接 。 
但 仍 存在 形状 、 面 积 失 真 问题 。 


二 
S 


| 村 
1 
定 图 像 | | 一 特征 匹配 
重 会 区 | 仅 在 重合 区 域内 最 Match Features | 
提取 特征 点 近 
J cabrate | Extract Features 邻 坐标 约束 | 
所 Overlap Region | ! < i . 

吃 预 | 比 oordinate Constraint | 
8 外 | 交 ' 
多 理 图 像 “| | 近 图 像 排序 | 
E34 分 辩 率 | 图 像 配 准 < Sort Images | 
Resize Resolution Registration 匹配 策略 融合 | 
| Merge Match 剔除 外 点 1 
| Strategies Remove Outliers 
站 EU J 1 

1 
rp a | 
| 配 准 参数 估计 单 应 变换 矩阵 | | 
| Registration Data Estimate Homography | 

1 

L 


合成 图 像 图 像 亮 度 校正 投影 变换 模型 图 像 融合 
Compositing | Brightness Corrector Projection Transformation Model Blend Images 


图 1 本 文 图 像 拼 接 算 法 框架 


L(xX,y,0)= G(X, y,0) i(x,y) (2) 
2 > 于 
快速 图 像 拼接 算法 原理 D(x,y,0)=(G(x, y,ko)—G(x,y,0)) Bi(x, y) (3) 
2.1 基于 重合 区 域 的 快速 特征 检测 算法 1 
其 中 : GCcoy6) 为 变 尺 度 的 高 斯 核 函 类 ee 
通常 序列 图 像 间 的 重合 区 域 约 为 10%~30%, 本 算法 在 该 重 
合 区 域内 提取 特征 点 ， 较 之 整 幅 图 像 提 取 ， 减 少 了 不 必要 的 耗 c) 在 高 斯 差分 金字 塔 Docy6) 内 , 进行 三 维 邻 域内 特征 点 极 
时 。 首 先 ， 标 定 重 合 区 域 ， 即 标注 每 一 幅 图 像 的 左右 各 1/3 区 ， 值 搜索 ， 初 步 确定 特征 点 ; 
域 为 检测 区 域 。 然 后 , 提取 该 区 域 的 SIFT 特征 点 , 再 计算 SURF d) 利 用 像 元 插值 法 定位 亚 像素 级 精度 的 特征 点 ; 
特征 描述 符 。 本 文 特征 检测 算法 具体 步骤 如 下 : e 剔 除 插值 偏 移 量 大 于 0.5、 响 应 值 小 于 0.03 的 点 以 及 存 
a) 计 算 图 像 i(x,y) 的 积分 图 像 Lm(m,n) 为 在 边缘 效应 的 点 ; 
Re Si (1) 人 通过 积分 图 像 Tsum(m,n), 计算 以 特征 点 keypoint Ge 的 
扇形 区 域内 x、y 方向 的 Haar 小 波 响 应 值 dx 和 dqy， 统 计 幅 值 


[a 


b) 构 建 尺度 空间 ， 即 高 斯 金字 塔 L(x,y,6) 和 高 斯 差分 金字 塔 > d+24dy 和 对 应 的 方向 角 arctan(2,dx/2,4dy) ， 幅 值 最 大 的 
Dx,0): 或 方向 即 为 特征 点 主 方向 ， 且 定义 幅 值 大 于 最 大 幅 值 80% 的 
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域 方 向 为 辅 方向 ; 

多 沿 特征 点 主 方向 ， 取 205x206 的 矩形 区 域 ， 并 将 该 区 域 
划分 为 4x4 个 子 块 , 然后 统计 积分 图 像 Fwn(m,n) 子 块 的 Harr 响 
应 值 y: 


v=[2de D2, 2 (4) 
即 可 得 到 4x4x4=64 维 的 特征 描述 符 descriptor， 如 果 区 分 
正 负 号 ， 则 为 128 维 ; 
hb) 保存 当前 图 像 的 特征 点 信息 keypoint 和 descriptor。 
2.2 ”匹配 策略 融合 的 改进 特征 匹配 算法 
提取 出 特征 点 后 ， 需 要 匹配 物理 位 置 一 致 的 点 ， 然 后 利用 
高 精度 的 匹配 对 ， 计 算 图 像 间 的 单 应 变换 矩阵 。 
2.2.1 常用 匹配 算法 及 其 性 能 分 析 
常用 pi 利用 穷 举 搜索 策略 和 欧 氏 距离 度量 准则 ， 
近邻 策略 剔除 误 匹 配对 包 ， 即 计算 图 像 立 中 的 
上述 符 Desit 与 图 像 六 中 所 有 特征 描述 符 Desj 间 的 距 


Dis= Spes, -Des,) (5) 
k=1 


闵 值 ， 则 认为 匹配 正 


若 最 近 距 离 与 次 近 距 离 之 比 小 于 某 一 
确 。 该 算法 存在 两 个 问题 :a) 若 特征 点 数量 庞大 ， 需 要 遍历 所 有 
4 维特 征 描 述 符 ， 效 率 低 ;b) 最 近邻 比 次 近邻 策略 直接 使 用 
次 近邻 点 计算 次 近邻 距离 ， 当 最 近邻 4(1) 与 次 近邻 4(2) 相 差 较 
小 ， 而 与 其 他 近邻 相差 较 大 时 ， 该 匹配 将 被 排除 ， 这 样 会 损失 
原本 正确 的 匹配 对 ， 降 低 了 正确 匹配 率 。 此 外 ， 仅 使 用 一 种 策 
略 仍 会 有 较 多 的 误 匹配 对 ， 使 得 后 续 的 精 匹 配 算法 效率 降低 。 
2.2.2 改进 的 匹配 算法 

为 了 提升 匹配 精度 ， 首 先 ， 利 用 距离 平均 法 改进 最 近邻 比 
次 近邻 策略 ， 即 用 4d(2)~q(9) 的 平均 值 代 蔡 次 近邻 4(2)，d(1) 仍 
为 最 近 距 离 ， 有 效 地 避免 了 4(1) 与 dg2) 相 差 较 小 时 正确 匹配 对 
被 误 排除 。 
其 次 ， 融 合 匹 配 差 值 的 阀 值 化 和 双向 交叉 检查 策略 ， 前 者 
计算 匹配 对 的 特征 描述 符 间 的 差 值 ， 若 小 于 给 定 阔 值 ， 则 认为 
匹配 正确 ; 后 者 需 在 两 个 方向 上 均 搜索 到 相同 的 匹配 对 ， 即 两 
个 匹配 点 互 为 对 方 的 最 近邻 点 ， 则 匹配 正确 。 
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类 于 包 卫 策略 融 汪 机 误差 快速 图 像 拼接 


杨 明 东 ， 


图 像 排 序 ， 得 到 相 邻 图 像 间 的 匹配 对 集合 。 该 集合 中 仍 可 能 存 
在 一 两 个 误 匹 配点 ,本 文采 用 RANSAC 算法 进行 匹配 对 提纯 ， 
得 到 无 误 匹 配 的 集合 ,对 大 组 匹配 对 (%,3) ,x,y) ,iel,2,.…,k， 


利用 最 小 二 乘法 估计 图 像 间 的 单 应 变换 矩阵 vector#, 得 到 配 准 
参数 有 =[ho,h1,.…., 有 7]: 
h=(A'A)'A'h (8) 
lw yw 10 00| 1 
0 0 0% » 1 i 
| 
x yy 1 0 0 0 号 
[0 0 0x% yy 1 YJ 
为 了 提高 匹配 效率 ，Beis 等 人 09 增 加 了 优先 级 队列 和 超时 


机 制 ， 提 出 了 基于 BBF 查询 机 制 的 Kd 树 搜索 算法 ， 其 时 间 复 
杂 度 为 O(nlogn), 较 之 穷 举 搜索 复杂 度 O(n?),， 大 大 提高 了 高 维 
大 数据 量 的 检索 效率 ， 因 此 ， 本 文 利用 该 搜索 算法 完成 大 量 特 
征 点 的 匹配 工作 。 


图 2 ”坐标 约束 原理 示意 图 


综 上 ， 改 进 的 特征 匹配 算法 步骤 为 : 

a) 利 用 图 像 志和 图 像 六 的 特征 描述 
kd_root4 和 kd_rootB; 

b) 利 用 BBF 机 制 
近邻 点 NeighborPoints={N1,，N2，…: 
距离 NeighborDis={disi,， dis2, …， diso}; 

0O) 求 Ny，N3，…，No 这 8 个 近邻 点 的 平均 距离 ， 作 为 次 近 
邻 距离 4(2), 然后 计算 diswd(2), 若 小 于 0.65， 则 匹配 成 功 , 否 
则 排除 匹配 对 ， 得 到 匹配 集合 

gd) 计算 matches7 中 匹配 对 的 特征 描述 符 间 的 差 值 ， 若 大 于 


在 kd_root4 中 查询 i 特征 描述 符 的 9 个 
，N9}， 并 计算 与 查询 点 的 


matches]1; 


最 后 ， 考 虑 到 序列 图 像 均 处 于 同一 方向 ， 正 确 匹 配对 的 横 
纵 坐 标 有 一 定 的 关联 ， 因 此 可 增加 坐标 约束 条 件 。 以 水 平方 向 


为 例 ，CG,) 和 (%,%) 是 一 对 待 约束 的 匹配 点 , 令 水 平方 向 约束 
条 件 为 


[yy —y|<pi;, wn mn |< p, (6) 


其 中 :p1, ps 是 两 个 阐 值 ， 本 文 分 别 取 pi=10, p2=8， 图 像 的 宽度 


w= 二 300， 华 标 约束 原理 示意 如 图 2 所 示 ， 其 中 A、B 是 正确 的 
匹配 对 ，C、D 由 于 不 满足 坐标 约束 条 件 将 被 排除 。 同 理 , 垂直 
方向 约束 条 件 可 以 设 为 

a -xl< pi, Mh-y -|<P, (7) 
其 中 图 像 高 度 h=400。 


经 过 以 上 匹配 后 利用 匹配 数 越 多 ， 图 像 越 接近 的 思想 进行 


闵 值 maxFeatureDisf=0.4， 则 剔除 该 匹配 项 ， 得 到 匹配 集合 

matches2; 
e 遍 历 图 像 六 中 所 有 特征 描述 符 重 复 步 骤 bj)~d)， 得 图 像 方 

到 图 像 冯 的 ee goodmatches1; 

站 对 图 像 疡 了 特征 描述 符 , 重 复 b)~e) 四 个 步骤 ,得 图 像 

志 到 图 像 六 的 i goodmatches2; 

曙 利 用 双 问 交 又 检查 策略 ， 对 goodmatches1 和 
goodmatches2 中 的 匹配 对 进行 双向 交叉 检查 ， 只 有 两 个 方向 都 
能 匹配 到 相同 的 匹配 对 ， 才 是 正确 的 匹配 对 matches3; 

h) 对 matches3 中 的 每 对 匹配 对 (6,) 和 (w, 饭 ) ,利用 式 (6) 

(7) 的 坐标 约束 条 件 进 行 约束 ， 以 得 到 高 精度 的 匹配 对 集合 


matches4:; 
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iD 利用 RANSAC 算法 ,剔除 集合 matches4 中 极 少量 的 误 匹 
配对 ， 得 到 精确 的 匹配 集合 bestmatches。 
2.3 无 颖 序列 图 像 并 行 拼接 算法 

利用 单 应 变换 矩阵 进行 图 像 投影 , 考虑 到 图 像 序列 的 光照 、 
见 角 等 亮度 差异 将 影响 拼接 图 像 的 视觉 效果 ， 需 先进 行 亮度 校 
正 , 分 别 求 出 重合 区 域 的 R、G、B 三 通道 和 ,利用 三 通道 间 的 
比例 系数 进行 亮度 校正 071。 

传统 序列 图 像 的 拼接 算法 主要 使 用 帧 到 图 像 的 逐 帧 扩大 式 

接 策略 04， 该 策略 缺陷 有 : a) 直 接 串 行 拼接 所 有 图 像 ， 必 然 
肖 耗 大 量 时 间 ， 影 响 拼接 效率 ;b) 每 一 帧 拼接 会 累加 上 次 的 拼接 
误差 ， 极 易 导 致 拼接 失败 。 

针对 上 述 问题 ， 本 文 提出 利用 配 准 参数 计算 序列 图 像 到 参 
考 图 像 坐标 空间 的 投影 变换 模型 的 方法 ， 首 先 假设 参考 图 像 索 
3 
图 


wb 


ct 


蔡 


值 为 m， 利 用 和 矩 阵 间 的 传递 性 ， 如 图 3 所 示 ， 计 算 任意 一 幅 
妈 像 到 中 间 参 考 图 像 的 投影 变换 矩阵 toRefHvectorim: 


i=m-l 
II vectorH[il, 当 i<m 
toRefHvector, =4 一 

i 


| (9) 
[vector# ta, 当 i>m 


其 中 : iek, k=0,1,2,…,n ，vectorH[i] 表 示 相 邻 图 像 间 的 变换 和 
阵 。 然 后 以 toRefHvectorin 作为 投影 变换 模型 ， 实 现 图 像 投 影 。 
假设 参考 图 像 的 点 集 为 ,3,D) ， 其 他 任意 图 像 的 点 集 为 
G5 ,yy,D ， 则 有 


TOI 


| | 
一 二 
| 

ll 
| | 
人 
证 
一 计谋 
| 

关 
| 
一 必 
Ei 

Ps 

EN 

Lo 

— 


其 中 ，h、 hh、 hh、%h' 是 第 i 幅 图 像 到 参考 图 像 
的 变换 矩阵 toRefHvectorim 参数 , 可 依次 将 所 有 图 像 的 点 集 利用 
式 (10) 投影 到 参考 坐标 平面 。 


vectorH[1l|] vectorH[m—l1] vectorH[m] vectorHl[n—1] 


, TH 


toRefHvector,, toRefHvector, 


图 3 ”变换 矩阵 关系 图 


该 投影 变换 模型 没有 携带 上 一 次 的 拼接 误差 ， 每 次 的 投影 
误差 只 与 原始 图 像 间 的 配 准 误差 有 关 ， 扭 曲 变形 小 ， 并 且 以 序 
列 图 像 中 间 位 置 为 参考 ， 拼 接 误 差 仅 为 中 间 图 像 到 两 端 图 像 的 
误差 累计 ， 相 比 传统 拼接 策略 误差 几乎 减少 了 一 半 ， 累 计 误 差 
可 近似 表达 为 


E =max(Y 6, Ye,) (11) 
i=l j=m 


传统 拼接 策略 的 累计 误差 则 为 


已 =ya (12) 


i=1 


杨 明 东 ， 证 于 区 本 时 下 局 4 的 必 


异 越 大 ， 误 差 降低 越 明显 。 

此 外 ,如 果 将 所 有 图 像 顺序 投影 ,输入 图 像 
仍 会 有 较 大 耗 时 ， 因 此 本 文 利用 多 线程 技术 ， 
率 , 以 参考 
RightImages={im,im+1,…,in} 两 部 分 ， 其 拼接 过 程 
分 别 将 LifIJmages 和 RightImages 中 的 每 一 幅 图 像 投 影 到 参考 


平面 ， 仪 当 
渐 入 渐 出 的 


吉 
: 


CD 


合作 期 和 干 
PYRE 


快速 图 像 拼接 


数量 n 很 大 时 ， 


7 
加 权 平 均 融 合算 法 消除 拼接 缝 ， 提 


天 个 线程 工作 完成 时 ， 才 合成 它们 


实验 分 析 与 比较 


提升 图 像 拼 接 效 


图 像 为 界 , 将 序列 图 像 分 为 LiftImages={iz,i2,…im} 和 


各 采用 一 个 线程 ， 


的 结果 ， 并 采用 
高 全 景 图 像 的 质 


村 


本 文 实验 均 使 用 硬件 配置 为 i5-3230M CPU、2.6 GHz 主 频 


及 8 GB 内 存 


Creater5.7 开发 平台 并 结合 OpenCV 2.4.10 视觉 


程 库 实 现 本 文 图 像 拼接 算法 。 
3.1 实验 设置 及 数据 集 
为 了 验证 本 文 拼接 算法 的 有 效 性 ， 针 对 快 


检测 与 匹配 耗 时 实验 ， 而 对 于 误差 设置 了 检测 
确 性 及 拼接 累计 误差 实验 。 

实验 使 
光照 变化 数据 集 leuven、 尺 度 和 旋转 变化 数据 
糊 数 据 集 bikes 和 视角 变化 数据 集 graf， 每 组 


的 计算 机 ， 系 统 为 Windows7 64 位 。 使 用 Qt 


库 和 boost 多 线 


速 性 设置 了 特征 
鲁 棒 性 、 匹 配 准 


Mikolajczyk 数据 集 08 中 的 4 组 


所 I 


图 像 序列 ， 包 括 


集 boat、 图 像 模 


包括 相同 场景 下 


不 同 变化 程度 的 6 幅 图 像 ， 该 数据 集 包括 不 同 


利于 比较 检测 算法 鲁 棒 性 和 匹配 性 能 。 
3.2 ”特征 检测 算法 快速 性 及 鲁 棒 性 比较 
3.2.1 快速 性 比较 


取 4 组 数据 集中 的 第 1 幅 图 像 ， 分 别 利 
法 和 传统 SIFT 算法 对 其 进行 特征 检测 , 均 使 
表 1 统计 了 提取 、 描 述 及 总 耗 时 。 
表明 ， 本 文 检测 算法 和 SIFT 算法 均 
量 的 特征 点 ， 且 提取 特征 点 时 间 基 本 相同 ， 这 


二 :要 
结果 


环境 下 的 干扰， 


本 文 特征 检测 算 


大 


算法 默认 参数 ， 


检测 到 了 相同 数 


提取 与 SIFT 算法 保持 一 致 。 而 本 文 特征 描述 时 间 比 SIFT 算法 
少 0.41~2.03s 左右 ， 因 为 本 文 算法 没有 使 用 多 


是 由 于 本 文 特征 


的 SIFT 描述 符 ， 而 是 利用 积分 图 像 的 特性 快 
SURF 描述 符 。 因 此 ， 本 文 特征 检测 算法 的 检 


SIFT 算法 ， 
3.2.2 鲁 棒 性 比较 


利 


应 用 于 图 像 拼接 优势 明显 。 


匹配 分 数 对 比 本 文 检测 算法 与 SIFT 
匹配 分 数 定 义 为 图 像 间 匹 配对 的 数量 与 两 幅 图 


E 数 高 、 计 算 量 大 


速 地 计算 64 维 
测 效率 优 于 传统 


算法 的 鲁 棒 性 ， 
像 中 检测 到 的 较 


少 的 特征 点 数量 之 比 。 利 用 包括 不 同 干扰 的 4 
式 距离 最 小 的 原则 进行 匹配 。 图 4 统计 了 本 文 算法 和 SIFT 算 


十 日 
结果 


其 中 :e 表示 相 邻 图 像 间 的 配 准 误差 ,n 为 序列 图 像 的 数量 ， 


描述 符 ， 


法 在 4 种 干扰 下 的 匹配 分 数 。 匹 配 分 数 越 高 ， 


表明 ， 在 视角 变化 、 尺 度 缩放 、 光 照 


干扰 下 , 本 文 算法 使 月 


大 | 


当 n=2 时 ,两 种 策略 误差 近似 相等 , 随 着 n 的 增 大 , El1 与 妃 差 


目的 SURF 描述 符 在 鲁 棒 性 上 略 优 于 SIFT 
此 ， 本 文 算法 在 保证 快速 性 的 前 提 


了 算法 的 鲁 棒 性 能 。 


组 数据 集 按 照 欧 


鲁 棒 性 越 好 。 
变化 及 模糊 4 种 


下 ， 同 时 也 保证 
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哆 m 
而 二 一 本文 位 再 算法 
人 一 本 文 检测 算法 一 SIFT 算 法 
a0 4 SIFT 算 法 
7 x 
9 六 
a eo 
部 外 sn 
5 洒 
加 4 六 4 
由 器 
注 总 3 
本 EE 
. 
+ 全 
EE 40 50 0 30 
观测 视角 Graf) 
100 + 
90 本 文 检测 算 
SIFT 算 法 
0 
从 i 70 


匹配 分 数 “100%) 
匹配 分 数 (100%) 


3.3 ”特征 匹配 算法 快速 性 与 准确 性 比较 
3.3.1 快速 性 比较 


利用 本 文 匹 配 算法 和 Lin 匹配 算法 四 对 4 组 数据 集中 前 两 


图 4 检测 算法 鲁 棒 性 比较 


长 1 特征 检测 算法 性 


张 图 像 进行 特征 匹配 ， 图 5 给 出 了 匹配 时 长 对 比 结果 。 


萎 到 本 文 玫 瑟 算法 
国 国 LinlLi 算 法 


数据 集中 的 图 像 分 辨 率 均 在 600x800 以 上 , 特 条 


1 
Boat Leuven Bikes Graf 


图 5 匹配 算法 快速 性 比较 


算法 需要 全 部 遍历 ， 匹 配 十 分 耗 时 ， 尤 其 boat 数据 
集 提取 了 8547 个 特征 点 , 匹配 需 12s 左右 ， 显 然 无 法 胜 


F 点 数量 大 ， 


任 快速 


SIFT 算法 本 文 算法 

数据 集 提取 时 间 (s) 提取 时 间 (s) 
提取 ”描述 总 提取 ”描述 ”总 

boat 2.19 1.18 2.09 0.77 2.86 

leuven 1 Wk 1.74 1.15 0.22 1.37 

bikes 1.41 1.81 1.38 0.21 1.59 

graf 1.24 2.32 1.23 0.29 1.52 


3.3.2 准确 性 比较 


= 


分 比 与 平均 距离 的 对 比 结果 。 
其 中 ? 正确 匹配 百分比 Rj; 为: 


je i 
N 


百分比 ， 但 本 文 匹配 算法 实验 


付 确 性 可 以 从 正确 匹配 百分比 和 平均 距离 
91， 每 组 数据 集 都 以 第 一 幅 图 像 为 参考 图 像 ， 然 后 分 别 与 其 他 
图 像 进行 特征 匹配 。 图 6 显示 了 本 文 匹 配 算法 、Lin 
及 Hui 匹配 算法 09 在 不 同 环境 下 的 不 同 变化 程度 的 了 


E 确 匹配 百 


个 方面 比较 


匹配 算法 


(13) 


其 中 ,Nransac 为 正确 匹配 对 数 , Ni 为 两 幅 待 


数 。 而 平均 距离 是 指 匹 配 过 程 中 ， 所 有 了 


平均 距离 dis4veg: 


1 Newe 
disAvg = 一 一 一 dis, 


如 像 初始 匹配 对 
述 符 间 的 


44) 


其 中 ，disi 表 示 第 对 正确 匹配 对 描述 符 间 的 欧式 距离 ，disdvg 


间接 表达 了 匹配 的 准 


EN 


性 - 


图 6 (a) 显示 了 正确 匹配 百分比 的 实验 结果 。 对 于 尺度 和 


缩放 变化 ，3 种 匹配 算法 在 尺度 变化 很 大 时 ， 正 确 匹 配 百 分 比 


迅速 降低 ， 但 本 文 算法 均 比 其 他 两 种 算法 高 10% 左 右 ， 准 确 性 
较 高 ， 对 于 光照 变化 ，3 种 算法 均 能 保持 55% 以 上 的 正确 匹配 


拼接 任务 。 而 本 文 匹 配 算法 使 用 了 改进 的 Kd 树 搜索 算法 ， 其 
计算 复杂 度 随 着 特征 点 数量 的 增多 而 降低 ， 使 得 匹配 效率 提高 
了 2.30~3.33 倍 。 


线 更 平稳 ， 基 本 能 保持 在 80% 
左右 ， 而 Lin 算法 和 Hui 算法 随 着 光照 强度 的 不 同 ， 正 确 匹 配 


百分比 波动 较 大 ， 重 棒 性 较 差 ， 对 于 图 像 模 糊 ， 当 模糊 因子 较 
小 时 ， 本 文 匹配 算法 能 保持 70% 左 右 的 正确 匹配 百分比 ， 随 着 
兽 加 ， 匹 配 准 确 性 有 所 降低 ， 但 其 准确 性 仍 优 于 其 
; 对 于 视角 变化 ，3 种 算法 在 一 定 范围 内 能 保持 一 
4 正确 匹配 百分比 ， 但 变化 范围 过 大 时 ，3 种 算法 均 不 能 保 
准确 性 较 差 ， 由 于 视角 变化 较 大 时 SURF 描述 
降低 ， 同 时 视角 变换 使 得 图 像 不 在 同一 方向 
再 满足 约束 条 件 ， 使 得 正确 匹配 率 大 大 降低 ， 但 本 文 算 
好 于 其 他 2 种 算法 。 

图 6 (b) 为 平均 距离 实验 结果 。 对 于 尺度 和 旋转 变化 ， 随 
着 尺度 因子 的 增加 ，3 种 算法 的 平均 距离 都 在 增加 ， 说 明 匹 配 
准确 性 降低 ， 但 本 文 匹 配 算法 的 平均 距离 比 Lin 算法 低 20 左 
右 ， 比 Hui 算法 低 30 左右 ; 对 于 光照 变化 ， 当 光照 程度 为 3.5 


忆 而 不 
法 仍 略 


倍 时 ， 两 种 算法 的 平均 距离 减少 较为 明显 ， 说 明 该 亮度 匹配 准 
确 性 较 高 ， 本 文 匹配 算法 的 稳定 性 优 于 其 他 2 种 算法 ; 
糊 变 化 ， 本 文 算 法 得 到 的 曲线 很 平稳 ， 均 能 保持 在 170 
线 波动 较为 明显 ， 匹 配 性 能 差 ，Hui 算法 在 模糊 
平均 距离 大 幅度 增加 ; 对 于 视角 变化 ， 当 视角 小 


对 于 模 
左右 ， 
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范围 变化 时 ，3 种 算法 平均 距离 较 低 ， 在 185 左右 ， 而 当 视 角 
继续 增加 至 40 度 以 上 时 , 平均 距离 迅速 增加 , 匹配 准确 性 大 大 


ChinaXiv 合 人 期 刊 
杨 明 东 ， 等 人 快速 图 像 拼接 算法 


降低 ， 但 总 体 看 来 ， 本 文 匹 配 算法 平均 距离 要 低 于 其 他 2 种 算 
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(b) 平 均 距离 


综 上 ， 本 文 匹配 算法 将 多 种 匹配 策略 融合 ， 并 使 用 坐标 约 
束 及 RANSAC 算法 ， 不 仅 有 效 地 避免 了 原本 正确 匹配 对 被 排 
除 ， 而 且 大 大 增加 了 正确 匹配 率 ， 准 确 性 高 。 

3.4 ”拼接 算法 快速 性 与 累计 误差 比较 


3.4.1 快速 性 比较 


为 了 验证 本 文 拼 接 算 法 的 快速 性 ， 设 置 了 两 组 实验 : 两 幅 
图 像 和 多 幅 图 像 的 拼接 ， 以 研究 图 像 数 量 对 快速 性 的 影响 。 
其 中 实验 1 使 用 Adobe Panoramas Dataset 图 像 集中 的 两 幅 图 像 


(如 图 7 所 示 ) 进行 拼接 测试 ， 结 果 如 图 8 所 示 ， 图 8 (a) 展 


示 了 本 文 特征 检测 算法 对 标定 区 域 分 别提 取 的 163、174 个 特 
征 点 ; 图 8 (b) 显示 了 特征 粗 匹 配 结果 ， 
中 有 一 对 明显 的 误 匹 配 ; 图 8 (c) 给 出 了 
的 21 个 匹配 对 ， 正 确 匹 配 百 分 比 高 ， 图 8 0d) 则 给 出 了 图 像 


(a) 特 征 


24 对 匹配 成 功 ， 其 
RANSAC 算法 提纯 


检测 


图 6 匹配 算法 准确 性 比较 


投影 和 加 权 融 合 后 的 拼接 图 ， 拼 接 变形 小 ， 视 觉 效果 较 好 。 实 
验 2 使 用 网 上 下 载 的 14 幅 序列 图 像 进行 拼接 测试 (如 图 9 (ay 
所 示 ), 图 9(b) 结果 表明 , 图 像 内 黑色 像素 比例 明显 高 于 两 幅 
图 像 的 拼接 结果 ， 也 有 一 定 的 扭曲 变形 ， 但 仍 能 保持 较 好 的 视 
觉 效 果 。 
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最 后 ， 


的 Brown 拼接 算法 031 及 Song 拼接 算法 [4 进行 比较 ， 结 果 
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(Ca) 输入 序 


列 图 像 


(b) 拼接 结果 


图 9 14 幅 序列 


统计 实验 1 和 实验 2 的 拼接 总 耗 时 ， 并 与 拼接 领域 


如 表 2 所 示 。 实验 1 本 文 算法 比 Song 算法 快 0.634s， 而 Brown 
算法 耗 时 最 多 ， 为 2.685s。 实 验 2 中 Brown 拼接 算法 耗 时 长 达 
89.64s， 明 显 高 于 Song 和 本 文 拼接 算法 ， 难 以 用 于 快速 拼接 领 
域 ， 因 为 需要 长 时 间 的 参数 估计 和 多 分 辩 率 融合 ， 时 间 复 杂 度 


i 
[5] ; 


于 亮度 的 


Song1 


接 算法 耗 时 9.114s， 由 于 无 须 参数 估计 ， 且 采用 基 


0 权 平 均 融 合算 法 ， 相 比 Brown 算法 效率 大 大 提升 ; 


ee ne 3.569s， 比 Song 算法 更 优 ， 此 外 ， 随 图 像 
的 增加 ， 本 文 拼接 算法 的 快速 性 优势 更 加 显著 。 
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表 2 拼接 总 耗 时 比较 


总 耗 时 (单位 ，s) 


SUREF 特征 描述 


Brown 拼接 算法 ”Song 拼接 算法 ”本文 拼接 算法 
实验 1 2.685 0.987 0.353 
实验 2 89.640 9.114 3.569 
本 文 拼 接 算法 的 运算 复杂 度 优势 主要 体现 在 : (1) 统计 


符 矢 量 时 ， 使 用 积分 图 像 统计 一 个 Haar 特征 的 


复杂 度 为 0(7), 与 遍历 Haar 模板 内 所 有 像素 复杂 度 O02) 相 比 ， 


复杂 度 大 大 降低 ; (2) 在 特征 匹配 时 使 用 改进 的 Kd 树 算法 ， 


与 穷 举 匹配 相 比 ,时 间 复 杂 度 从 O(nliogn) 变 为 0(m?), 优势 明显 ; 
在 拼接 时 ,运用 多 线程 技术 , 理论 上 可 以 将 复杂 度 降低 一 
(4) 使 用 了 像素 级 的 融合 算法 ， 复 杂 度 较 之 多 分 辨 率 融 合 
大 大 降低 。 因 此 ， 本 文 算法 快速 性 优势 明显 。 

3.4.2 累计 误差 比较 


(3) 
倍 ; 


本 文 ; 
误差 


目前 ， 


a 


像 拼 接 领域 尚未 有 公开 、 完 整 的 误差 评价 标准 ， 


年 使 ) 


扭曲 度 TWwist 和 有 用 像素 比例 Correctness 评价 拼接 


20， 上 其 


定义 分 别 为 : 


Twist = Max{ Slopes(i, j) } ij e ResultPoint (15) 


图 像 拼接 结果 


低 误差 快速 图 像 拼 接 外 


BlackPixels 


Correctness =1— 


TotalPixels 


(16) 


其 中 , ResultPoint 为 图 像 变换 后 的 中 心 坐 标 集 合 ， Slopes(iy) 为 


相 令 坐标 间 的 斜率 。BlackPixels 为 拼接 图 


中 的 黑色 无 用 像素 点 


的 个 数 ，7TotalPixels 为 总 的 像素 个 数 。 扭曲 度 越 低 ， 有 用 像素 比 


例 越 高 ， 表 示 累 计 误 差 越 小 。 
利用 本 文 拼 接 算法 及 Song 拼接 算法 ， 


分 别 拼 接 图 9(a) 所 示 


的 4~14 幅 图 像 , 表 3 列 出 了 每 组 实验 的 结果 。 结 果 表明 ， 随 着 


拼接 图 像 数量 的 增加 ， 扭 曲 度 逐 渐 增 加 ， 


有 用 像素 逐渐 减少 ， 


累积 误差 有 小 幅 增长 。 但 本 文 拼接 算法 得 


到 的 扭曲 度 基 本 保持 


在 0.35 以 下 ， 有 用 像素 比例 保持 在 95% 以 上 ， 相 比 Song 拼接 


算法 扭曲 度 低 0.07~0.13, 有 用 像素 比例 则 增加 5.62%~13.31%， 


且 图 像 数量 越 多 ， 本 文 拼接 算法 累计 误差 


增长 幅度 越 低 ， 优 势 


越 明显 。 尤 其 是 对 8 幅 以 下 的 拼接 任务 ， 


扭曲 度 低 于 0.20， 


Rg 


像素 比例 均 高 于 96%， 累 计 误差 低 ， 


有 较 高 的 实用 价值 。 


表 3 扭曲 度 、 有 用 像素 比例 


比较 


Song 等 拼接 算法 本 文 拼接 算法 


Twist Correctness Twist 


Correctness 


© 
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0.1301 91.11% 0.0631 96.73% 
0.2189 90.06% 0.1357 96.59% 
0.2822 89.88% 0.1995 96.23% 
0.3534 87.05% 0.2433 96.14% 
0.4244 83.78% 0.3156 95.04% 
0.4676 82.62% 0.3328 95.93% 


4 ”结束 语 


本 文 为 了 提高 匹配 准确 率 、 降 低 拼接 


wb 
重合 区 域 及 SURF 描述 符 的 SIFT 特 


才 于 


了 基于 多 匹配 策略 融合 的 改进 拼接 算法 。 


时 间 及 累计 误差 ， 提 
该 算法 首先 采用 基 


正 检测 算法 ， 以 提高 特 


录用 稿 


征 检测 速度 。 其 次 ， 融 合 多 种 匹配 策略 ， 并 结合 坐标 约束 ， 在 
光照 变化 、 尺 度 和 旋转 变化 、 图 像 模糊 、 视 角 变 化 等 环境 下 ， 
特征 匹配 准确 率 更 高 。 最 后 ， 提 出 序列 图 像 到 参考 图 像 坐标 空 
间 的 投影 变换 模型 的 计算 方法 ， 以 降低 多 次 拼接 带 来 的 累计 误 
差 ， 并 利用 多 线程 技术 提升 拼接 速度 ， 最 终 得 到 高 质量 的 全 景 
。 但 本 文 使 用 了 加 权 融 合算 法 ， 当 序列 图 像 中 存在 运动 物体 
时 ,会 出 现 鬼 影 、 拼 接 颖 等 ， 在 未 来 的 工作 中 将 继续 研究 既 能 
解决 以 上 问题 ， 又 能 快速 完成 融合 的 算法 。 
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